F-4 Phantom II đầu tiên được thiết kế như là máy bay tiêm kích bảo vệ hạm đội và Hải quân Hoa Kỳ được đưa vào sử dụng năm 1960. Đến năm 1963 nó cũng được Không quân Hoa Kỳ sử dụng làm máy bay tiêm kích-ném bom. Cho đến khi ngưng sản xuất vào năm 1981, 5.195 chiếc F-4 Phantom II đã được sản xuất, và là loại máy bay siêu thanh quân sự Hoa Kỳ được sản xuất nhiều nhất. F-4 cũng giữ kỷ lục là máy bay được sản xuất liên tục lâu nhất trong suốt 24 năm cho đến khi F-15 Eagle ra đời. Sự cải tiến của F-4 bao gồm việc áp dụng radar cải tiến sử dụng xung Đốp-lơ và việc sử dụng rộng rãi hợp kim Titan cho khung máy bay.

Mặc dù có kích thước ấn tượng và trọng lượng cất cánh tối đa lớn (27.000 kg), F-4 vẫn có khả năng đạt đến tốc độ siêu thanh 2,23 Mach và có thể lên cao được 210 mét mỗi giây. Chỉ một thời gian ngắn sau khi giới thiệu, F-4 đã lập 16 kỷ lục thế giới, bao gồm kỷ lục tốc độ bay tuyệt đối 2.585,086 km/h (1.606,342 dặm mỗi giờ), và độ cao kỷ lục 30.040 m (98.557 ft). Mặc dù các kỷ lục được lập trong những năm 1959-1962, nhưng năm trong số các kỷ lục về tốc độ vẫn không bị phá vỡ cho đến năm 1975.

F-4 có thể mang được trên 8.480 kg (18.650 lb) các loại vũ khí ở 9 đế gắn trên thân và cánh, bao gồm: tên lửa không đối không, tên lửa không đối đất, các loại bom có và không điều khiển, bom hạt nhân. Vì chiếc F-8 Crusader (Thập tự quân)đã được dùng trong cận chiến, chiếc F-4 được thiết kế không trang bị pháo, giống như những chiếc máy bay tiêm kích đánh chặn khác vào thời ấy. Kinh nghiệm không chiến tại Bắc Việt Nam dẫn đến việc sử dụng Phantom II trong cả Hải quân và Không quân Hoa Kỳ như là máy bay tiêm kích ưu thế trên không chủ yếu. Cánh to và động cơ mạnh mẽ tạo cho nó có tính năng cạnh tranh chống lại những chiếc MiG nhỏ hơn, đồng thời sĩ quan hệ thống vũ khí (WSO - weapons systems officer/phi công 2) giúp phát hiện máy bay đối phương trong tầm nhìn hay bằng radar.

Vì phục vụ rộng rãi trong quân đội Hoa Kỳ và các nước đồng minh, F-4 là một biểu tượng của thời kỳ Chiến tranh Lạnh. F-4 tham gia Chiến tranh Việt Nam và xung đột Ả-rập Israel, trong đó ghi được 393 lần bắn rơi máy bay đối phương cũng như hoàn thành vô số phi vụ yểm trợ mặt đất. F-4 cũng là máy bay chiến đấu cuối cùng của Mỹ trong thế kỷ 20 tạo nên "Ách" (phi công bắn rơi được từ 5 máy bay địch trở lên): Trong chiến tranh Việt Nam, Không quân có 1 phi công và 1 sĩ quan hệ thống vũ khí, và Hải quân có 1 phi công và 1 sĩ quan theo dõi radar (RIO: Radar Intercept Officer) đạt danh hiệu "Át". F-4 còn có vai trò trinh sát chiến thuật và chiến đấu khống chế phòng không đối phương (Wild Weasel: Chồn hoang), vốn được sử dụng cho đến Chiến dịch Bão táp Sa mạc vào năm 1991.

F-4 Phantom II cũng là kiểu máy bay được cả hai nhóm Thao diễn máy bay Hoa Kỳ lựa chọn: Nhóm Thunderbirds của Không quân (F-4E) và nhóm Blue Angels của Hải quân (F-4J) đều chọn trang bị Phantom II vào năm 1969, nhóm Thunderbirds bay trong 5 năm và nhóm Blue Angels 6 năm.

Tính năng bay siêu thanh Mach 2 với tầm xa và mang bom nặng của F-4 Phantom II trở thành khuôn mẫu cho thế hệ máy bay chiến đấu tiếp sau ở tầm hạng nặng hay tầm hạng trung/nhẹ tối ưu cho phi vụ ban ngày. Trong Không quân Hoa Kỳ, F-4 được thay thế bởi F-15 Eagle và F-16 Fighting Falcon, và bởi F-14 Tomcat và F/A-18 Hornet trong Hải quân, vốn tiếp tục vai trò kép tiêm kích-tấn công. Chiếc General Dynamics F-111 thay thế Phantom trong vai trò ném bom tầm trung.

Về chi phí, mỗi chiếc F-4E có giá 2,4 triệu USD (thời giá năm 1965, tương đương 18,6 triệu USD thời giá năm 2017). Mỗi chiếc RF-4C có giá 2,3 triệu USD (thời giá năm 1965, tương đương 17,9 triệu USD thời giá năm 2017). Mức giá này khá cao so với máy bay chiến đấu thời bấy giờ. Để so sánh, chiếc F-86 trong thời chiến tranh Triều Tiên (năm 1950) có giá tương đương 2,3 triệu USD thời giá năm 2017. Như vậy, F-4E đắt gấp 8 lần so với người tiền nhiệm của nó.